A distribution inference attack aims to infer statistical properties of data used to train machine learning models. These attacks are sometimes surprisingly potent, but the factors that impact distribution inference risk are not well understood and demonstrated attacks often rely on strong and unrealistic assumptions such as full knowledge of training environments even in supposedly black-box threat scenarios. To improve understanding of distribution inference risks, we develop a new black-box attack that even outperforms the best known white-box attack in most settings. Using this new attack, we evaluate distribution inference risk while relaxing a variety of assumptions about the adversary's knowledge under black-box access, like known model architectures and label-only access. Finally, we evaluate the effectiveness of previously proposed defenses and introduce new defenses. We find that although noise-based defenses appear to be ineffective, a simple re-sampling defense can be highly effective. Code is available at https://github.com/iamgroot42/dissecting_distribution_inference

最近，生成的数据无量子化作为一种​​实用的方法，将神经网络压缩到低位宽度而不访问真实数据。它通过利用其全精密对应物的批量归一化（BN）统计来生成数据来量化网络。然而，我们的研究表明，在实践中，BN统计的合成数据在分布和样品水平时严重均匀化，这导致量化网络的严重劣化。本文提出了一种通用不同的样本生成（DSG）方案，用于生成无数据的训练后量化和量化感知培训，以减轻有害的均质化。在我们的DSG中，我们首先将统计对齐缩写为BN层中的功能，以放宽分配约束。然后，我们加强特定BN层对不同样品的损失影响，并抑制了生成过程中样品之间的相关性，分别从统计和空间角度分别多样化样本。广泛的实验表明，对于大规模的图像分类任务，我们的DSG可以始终如一地优于各种神经结构上的现有数据无数据量化方法，尤其是在超低比特宽度下（例如，在W4A4设置下的22％的增益下）。此外，由我们的DSG引起的数据多样化引起了各种量化方法的一般增益，证明了多样性是无数据量化的高质量合成数据的重要特性。

Training labels for graph embedding algorithms could be costly to obtain in many practical scenarios. Active learning (AL) algorithms are very helpful to obtain the most useful labels for training while keeping the total number of label queries under a certain budget. The existing Active Graph Embedding framework proposes to use centrality score, density score, and entropy score to evaluate the value of unlabeled nodes, and it has been shown to be capable of bringing some improvement to the node classification tasks of Graph Convolutional Networks. However, when evaluating the importance of unlabeled nodes, it fails to consider the influence of existing labeled nodes on the value of unlabeled nodes. In other words, given the same unlabeled node, the computed informative score is always the same and is agnostic to the labeled node set. With the aim to address this limitation, in this work, we introduce 3 dissimilarity-based information scores for active learning: feature dissimilarity score (FDS), structure dissimilarity score (SDS), and embedding dissimilarity score (EDS). We find out that those three scores are able to take the influence of the labeled set on the value of unlabeled candidates into consideration, boosting our AL performance. According to experiments, our newly proposed scores boost the classification accuracy by 2.1% on average and are capable of generalizing to different Graph Neural Network architectures.

网络安全漏洞是分布式网络物理系统（CPS）的常见异常。但是，即使使用尖端人工智能（AI）方法，网络安全漏洞分类仍然是一个困难的问题。在本文中，我们研究了网络安全性的多类分类问题，以进行攻击检测。考虑了一个具有挑战性的多节点数据审查案例。在这种情况下，当本地数据不完整时，每个数据中心/节点中的数据都无法共享。特别是，本地节点仅包含多个类别的一部分。为了培训全球多级分类器而不在所有节点上共享原始数据，我们研究的主要结果是设计多节点多级分类合奏方法。通过从每个局部节点收集二进制分类器和数据密度的估计参数，每个局部节点的丢失信息都可以完成，以构建全局多类分类器。进行数值实验以验证在多节点数据审查情况下提出的方法的有效性。在这种情况下，我们甚至显示了对全数据ATA方法的拟议方法的表现。

视频中的多目标跟踪需要解决相邻帧中对象之间一对一分配的基本问题。大多数方法通过首先丢弃不可能的对距离大于阈值的不可能对解决问题，然后使用匈牙利算法将对象链接起来以最大程度地减少整体距离。但是，我们发现从重新ID特征计算出的距离的分布可能在不同的视频中有很大差异。因此，没有一个最佳阈值可以使我们安全丢弃不可能的对。为了解决该问题，我们提出了一种有效的方法来实时计算每对对象的边际概率。边际概率可以视为标准化距离，比原始特征距离明显稳定。结果，我们可以为所有视频使用一个阈值。该方法是一般的，可以应用于现有的跟踪器，以在IDF1度量方面获得大约一个点改进。它在MOT17和MOT20基准上取得了竞争成果。此外，计算的概率更容易解释，从而有助于后续后期处理操作。

机器人技术中的安全运动规划需要已验证的空间规划，这些空间没有障碍。但是，由于其深度测量值的稀疏性，使用LiDARS获得此类环境表示是具有挑战性的。我们提出了一个学习辅助的3D激光雷达重建框架，该框架借助重叠的摄像头图像来为稀疏的激光雷达深度测量，以生成比单独使用原始liDar测量值可以实现更明确的自由空间的较密集的重建。我们使用带有编码器解码器结构的神经网络来预测密集的深度图像以及使用体积映射系统融合的深度不确定性估计。我们在使用手持式传感设备和腿部机器人捕获的现实世界室外数据集上进行实验。我们使用来自16束束激光雷达映射建筑网络的输入数据，我们的实验表明，通过我们的方法，估计的自由空间的量增加了40％以上。我们还表明，我们在合成数据集通用上训练的方法非常适合现实世界户外场景，而无需进行其他微调。最后，我们演示了运动计划任务如何从这些密集的重建中受益。

在多个会话中处理环境图的能力对于长时间运行的机器人至关重要。具体而言，自主代理人希望检测不同会话的地图之间的变化，以便对当前环境产生无冲突的理解。在本文中，我们研究了基于新的地图表示的变化检测问题，称为平面签名距离场（PlanesDF），其中密集的地图表示为平面的集合及其SDF体积中的相关几何成分。给定的源场和目标场景的点云，我们提出了一种基于三步的平面变更检测方法：（1）平面DF卷在每个场景中实例化并使用平面姿势在场景中注册；通过高度投影和连接的组件分析提取2D高度图和对象图。 （2）比较高度图并与对象图相交，以生成2D更改位置掩码，以用于源场景中更改的对象候选者。 （3）使用SDF衍生的每个对象候选者进行更改掩码细化的功能进行3D几何验证。我们在合成数据集和现实世界数据集上评估我们的方法，并通过更改对象检测的任务来证明其有效性。

已经提出了基于离散化的方法来解决双线性术语的非凸优化问题。这些方法将原始的非convex优化问题转换为混合企业线性程序（MILPS）。与将非凸优化问题转换为MILP的方法相关的广泛研究相比，对收缩的MILP模型进行研究是有限的。在本文中，我们为基于离散化的MILP模型提供了紧缩的限制。具体而言，我们研究了从双线性项上的上限得出的收紧约束，并利用离散化导致的结构。我们证明了约束的有效性，显示了来自不同公式的MILP模型的计算结果（1）汇总问题和（2）基于离散化的合并模型。计算结果表明，我们的方法减少了CPLEX 12.10上MILP模型的计算时间。最后，我们注意到，尽管我们的方法是在合并问题的上下文中提出的，但它们可以扩展以解决其他非convex优化问题，并在双线性术语上使用上限。

事件摄像机是受生物启发的传感器，在具有挑战性的照明条件下表现良好，并且具有高时间分辨率。但是，他们的概念与传统的基于框架的相机根本不同。事件摄像机的像素独立和不同步。他们测量对数亮度的变化，并以高度离散的时间stamp事件形式返回它们，表明自上次事件以来一定数量的相对变化。需要新的模型和算法来处理这种测量。目前的工作着眼于事件摄像机的几个运动估计问题。事件的流以时空量的一般均应翘曲为模型，并且该目标被提出为扭曲事件图像中对比度的最大化。我们的核心贡献包括针对这些通常非凸的问题得出全球最佳解决方案，从而消除了对困扰现有方法的良好初始猜测的依赖。我们的方法依赖于分支和结合的优化，并采用了针对六个不同的对比度估计函数得出的新颖和高效的递归上限和下限。通过成功应用于三个不同的事件摄像机运动估计问题，我们的方法的实际有效性证明了这一点。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。